体积神经渲染方法，例如神经辐射场（NERFS），已实现了光真实的新型视图合成。但是，以其标准形式，NERF不支持场景中的物体（例如人头）的编辑。在这项工作中，我们提出了Rignerf，该系统不仅仅是仅仅是新颖的视图综合，并且可以完全控制头姿势和从单个肖像视频中学到的面部表情。我们使用由3D可变形面模型（3DMM）引导的变形场对头姿势和面部表情的变化进行建模。 3DMM有效地充当了Rignerf的先验，该rignerf学会仅预测3DMM变形的残留物，并使我们能够在输入序列中呈现不存在的新颖（刚性）姿势和（非刚性）表达式。我们仅使用智能手机捕获的简短视频进行培训，我们证明了我们方法在自由视图合成肖像场景的有效性，并具有明确的头部姿势和表达控制。项目页面可以在此处找到：http：//shahrukhathar.github.io/2022/06/06/rignerf.html
translated by 谷歌翻译
多个现有基准测试涉及视频中的跟踪和分割对象，例如，视频对象细分（VOS）和多对象跟踪和分割（MOTS）（MOTS），但是由于使用不同的基准标准数据集和指标，它们之间几乎没有相互作用（例如J＆F，J＆F，J＆F，J＆F，地图，smotsa）。结果，已发表的作品通常针对特定的基准，并且不容易相互媲美。我们认为，可以解决多个任务的广义方法的发展需要在这些研究子社区中更大的凝聚力。在本文中，我们旨在通过提出爆发来促进这一点，该数据集包含数千个带有高质量对象掩码的视频，以及一个相关的基准标准，其中包含六个任务，涉及视频中的对象跟踪和细分。使用相同的数据和可比较的指标对所有任务进行评估，这使研究人员能够一致考虑它们，因此更有效地从不同任务的不同方法中汇集了知识。此外，我们为所有任务展示了几个基线，并证明可以将一个任务的方法应用于另一个任务，并具有可量化且可解释的性能差异。数据集注释和评估代码可在以下网址获得：https：//github.com/ali2500/burst-benchmark。
translated by 谷歌翻译
由于其在建模复杂操作方面的性能和灵活性，变压器在计算机视觉中变得普遍。特别重要的是“交叉注意”操作，它允许通过参与任意大小的输入功能集来学习一个向量表示（例如，图像中的对象）。最近，提出了“掩盖注意力”，其中给定的对象表示仅关注那些对象的分割掩码处于活动状态的图像像素功能。这种注意力的专业证明对各种图像和视频细分任务有益。在本文中，我们提出了另一种专业化的注意力，该专业能够通过“软遮罩”（具有连续遮罩概率而不是二进制值的那些软遮罩）参加，并且通过这些掩码概率也可以差异化，从而允许学习掩模用于注意的掩模。在网络中无需直接损失监督。这对于多种应用程序可能很有用。具体而言，我们对弱监督视频对象细分（VOS）的任务采用了“可区分的软掩盖注意力”，在该任务中，我们为VOS开发了一个基于变压器的网络，该网络仅需要单个带注释的图像框架，但也可以仅带有一个带注释的框架的视频中的循环一致性培训受益。尽管没有标记的框架中的口罩没有损失，但由于我们的新型注意力表述，该网络仍然能够在这些框架中细分对象。代码：https：//github.com/ali2500/hodor/blob/main/main/hodor/modelling/encoder/soft_masked_attention.py
translated by 谷歌翻译
用于视频对象分割（VOS）的现有最先进方法（VOS）学习帧之间的低级像素到像素对应关系，以在视频中传播对象掩码。这需要大量的密集注释的视频数据，这是昂贵的注释，并且由于视频内的帧是高度相关的，因此由于视频内的帧具有很大冗余。鉴于此，我们提出了HODOR：一种新的方法，通过有效地利用被帮助的静态图像来理解对象外观和场景上下文来解决VOS的新方法。我们将来自图像帧的对象实例和场景信息编码为强大的高级描述符，然后可以用于重新划分不同帧中的这些对象。因此，与没有视频注释培训的现有方法相比，HODOR在DAVIS和YOUTUBE-VOS基准上实现了最先进的性能。如果没有任何架构修改，HODOR也可以通过利用循环一致性围绕单个注释的视频帧周围的视频上下文学习，而其他方法依赖于密集，则时间上一致的注释。
translated by 谷歌翻译
尽管从研究界获得了重大关注，但单眼视频中分段和跟踪对象的任务仍然有很多改进空间。现有工程同时证明了各种图像级分段任务的扩张和可变形卷曲的功效。这使得这种卷积的3D扩展也应该产生视频级分段任务的3D扩展。但是，这方面尚未在现有文献中彻底探讨。在本文中，我们提出了动态扩张卷积（D ^ 2Conv3d）：一种新型类型的卷积，其汲取了来自扩张和可变形卷曲的灵感，并将它们延伸到3D（时空）域。我们通过实验表明，D ^ 2CONV3D可用于通过简单地使用D ^ 2CONV3D作为标准卷积的替代品来改进多个视频分段相关基准的多个3D CNN架构的性能。我们进一步表明，D ^ 2CONV3D OUT-upial延伸的现有扩张和可变形卷曲的速度扩展到3D。最后，我们在Davis 2016无监督的视频对象分段基准测试中设置了新的最先进的。代码在https://github.com/schmiddo/d2conv3d上公开提供。
translated by 谷歌翻译
视网膜疗法代表一组视网膜疾病，如果不及时治疗，可能会导致严重的视觉障碍甚至失明。许多研究人员已经开发了自治系统，通过眼底和光学相干断层扫描（OCT）图像识别视网膜病变。然而，大多数这些框架采用传统的转移学习和微调方法，需要一种非常良好的注释训练数据来产生准确的诊断性能。本文提出了一种新型增量跨域适应仪，可以通过几次拍摄培训允许任何深度分类模型逐步学习OCT和眼底图像的异常视网膜病理。此外，与其竞争对手不同，所提出的仪器通过贝叶斯多目标函数驱动，不仅执行候选分类网络，不仅在增量培训期间保留其先前学到的知识，而且还确保网络了解先前学习的结构和语义关系病理学和新增的疾病类别在推理阶段有效地识别它们。所提出的框架，在用三种不同的扫描仪获得的六个公共数据集中评估，以筛选十三个视网膜病理，优于最先进的竞争对手，通过分别实现了0.9826和0.9846的整体准确性和F1得分。
translated by 谷歌翻译